Das Gebäude sank 1504 im Verlauf des Landshuter Erbfolgekrieges in Schutt und Asche. Wieder aufgebaut wurde der Neubau während des 30jährigen Krieges stark beschädigt. Aus dem 18 Jh. stammten die gewölbten Stallungen und eine große Scheune im Hinterhof.
Der älteste bekannte Eigentümer ist Wolfgang Dreer, Metzger und äußerer Rath. Sein Sohn Andreas, gleichfalls Metzger, übernimmt das Anwesen anläßlich seiner Eheschließung vom 4.2.1681 mit Maria Barbara Demleitner, Bürgermeisters- und Stattcamererstochter.
Über deren Sohn Veith Josef Dreer und Ignaz Schmid, Sekretär von Baron Quentel, kommt das Haus durch Übergabe vom 19.6.1793 in den Besitz des Lorenz Ziegler.
Die Familie Ziegler war ursprünglich in Neunburg vorm Wald ansässig. Der Metzger Christoph Ziegler erheiratet sich am 9.9.1765 das Anwesen Rathausstraße 3 von der Schusterswitwe Maria Anna Weingärtner geb. Bertold. Bereits am 30.5.1769 führte er seine zweite Ehefrau Barbara Schmalzbauer heim. Ihr folgte am 14.5.1793 die Schmiedswitwe Maria Margarethe Metz als dritte Ehefrau.
Zwei Monat später am 10.7.1793 heiratet der Sohn aus 2. Ehe, Lorenz Ziegler, die Lilienwirtstochter Maria Anna Schmid. Seitdem wird das Anwesen Marktplatz 2 in der Familie Ziegler weiter vererbt. Durch heiraten entstanden Verwandtschaften mit den Familien Weingärtner, Nast, Herrmann, Hiltl, Scherl, Auernehim, Paulus in Burglengenfeld, Bauer in Schenklhammer. Mehrere Generationen Ziegler wirkten zum Wohle der Stadt. Sie waren zum Beispiel Magistratsräte oder Spitalverwalter. Einige übten die Aufsicht über die Kirchenstiftung oder den Armenfond aus.
Die Zieglers leiteten als Vorstandsmitglieder den Darlehenkassenverein. In der Seelsorge war Pfarrer Lorenz Christoph Ziegler (geb.26.12.1800 in Schwandorf gest. 6.4.1872)in der Pfarrei Bad Kreuth am Tegernsee und der bekannte Regensburger Weihbischof Josef Hiltl (geb. 30.8.1889 in Schwandorf gest. 20.4.1979, Grablege St. Jakob Regensburg, Schottenkirche) gehörte als Neffe zur nächsten Verwandtschaft.
Im Gasthaus zu den "Drei Lilien" hatten etliche Vereine ihren Sitz. Die Geburtsstunde der CSU in Schwandorf schlug im Dezember 1945 ebenfalls hier.
Bei der Taverne gab es einen regen Fuhrmannsbetrieb. Landwirte kamen mit ihren Wagen in die Stadt, erledigten Geschäfte und machten gern im Gasthaus Rast. Oft standen bis zu 25 Gespanne an dieser Marktplatzseite. Das Bier wurde im Kommunbrauhaus gebraut und im Felsenkeller an der Spitzwegstraße kühl gelagert. Für die vielen Pferde gab es einen großen Stall. Die Landwirtschaft Ziegler genoß einen guten Ruf, so daß viele Kunden hier ihre Milch holten.
In den 70er Jahren entschloß sich das Besitzerehepaar Kasimir und Therese
Ziegler die Gastwirtschaft und als letzter Stadtbauer am Marktplatz die
Viehhaltung aufzugeben. Das Amt für Denkmalpflege gab seine Einwilligung
zu den Neubauplänen, da die Bausubstanz zu wünschen übrig ließ. Die Stallungen
und die Scheune im langgestreckten Hinterhof wurden abgetragen. Der Betrieb
des beliebten volkstümlichen Gasthofes "Drei Lilien" endete am Montag den
11. Juni 1979. Das abgebrochene Haus ersetzte ein Neubau. Im Keller ist
jetzt eine Diskothek untergebracht, im Erdgeschoß befindet sich ein Drogeriemarkt
und im 1. Stock sind Arztpraxen. Die Familie bewohnt das 2. Obergeschoß.